SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning
SpatialClaw:以编程为行动界面的空间推理Agent
🧭 Agent 设计 · 代码作为行动界面 ★ 深度解读
NVIDIA · KAIST
提出以Python代码作为行动界面,在持久内核中迭代组合感知工具,显著提升开放式空间推理性能。
📌 工作参考价值(4 点)
- Code as Action 替代固定工具调用:在 Agent 设计中,用 Python 代码生成代替 JSON/XML 结构化工具调用,可动态组合基础 API(分割、重建、计算)完成任意复杂任务。电商场景的智能客服或商品属性提取 Agent 可借鉴,让模型根据问题实时编写数据处理代码,而非受限于预定义工具列表。
- 持久化内核支持观察-修正循环:将执行环境设为持久化 Python 内核,中间变量、可视化结果跨步骤保留。推荐系统的在线调参或分析环节可引入类似机制:每步执行后保留状态,Agent 根据输出反馈修正后续步骤,避免一次性提交全部分析策略。
- 通用计算库赋能动态组合:工具设计为普通 Python 可调用对象,同时预加载 NumPy/SciPy/Matplotlib,使 Agent 无需专属工具即可用基础运算实现统计、空间索引等需求。生成式推荐中,可让 Agent 在召回、排序阶段动态组合检索策略与重排逻辑,利用通用库实现临时的指标计算。
- 无微调的泛化 Prompt 工程:系统提示编码领域通用推理原则(如“用度量计算代替像素估计”、“多证据交叉验证”),而非任务特定示例,跨 20 个基准和多个模型家族均有效。构建电商多模态 Agent 时,可提取通用规则提示,降低每个新任务的手动适配成本。